为了促进视频降解研究，我们构建了一个引人注目的数据集，即“实用的视频Denoising DataSet”（PVDD），其中包含200个SRGB和RAW格式的嘈杂清洁动态视频对。与由有限运动信息组成的现有数据集相比，PVDD涵盖了具有变化和自然运动的动态场景。与使用主要高斯或泊松分布的数据集不同，以合成SRGB域中的噪声，PVDD通过具有物理意义的传感器噪声模型，然后进行ISP处理，将原始域中的现实噪声合成现实的噪声。此外，基于此数据集，我们提出了一个基于洗牌的实用降解模型，以增强现实世界中SRGB视频的视频DeNoising网络的性能。广泛的实验表明，接受PVDD培训的模型在许多具有挑战性的现实视频上实现了优越的DeNo绩效，而不是在其他现有数据集中训练的模型上。

预训练在高级计算机视觉中标志着众多艺术状态，但曾经有很少的尝试调查图像处理系统中的预训练方式。在本文中，我们对图像预培训进行了深入研究。在实用价值考虑到实际价值的实际基础进行本研究，我们首先提出了一种通用，经济高效的变压器的图像处理框架。它在一系列低级任务中产生了高度竞争的性能，但在约束参数和计算复杂性下。然后，基于此框架，我们设计了一整套原则性的评估工具，认真对待和全面地诊断不同任务的图像预训练，并揭示其对内部网络表示的影响。我们发现预训练在低级任务中发挥着惊人的不同角色。例如，预训练将更多本地信息引入超级分辨率（SR）的更高层数，产生显着的性能增益，而预培训几乎不会影响去噪的内部特征表示，导致稍微收益。此外，我们探索了不同的预训练方法，揭示了多任务预训练更有效和数据效率。所有代码和模型将在https://github.com/fenglinglwb/edt发布。

远程时间对齐至关重要，但对视频恢复任务有挑战性。最近，一些作品试图将远程对齐分成几个子对齐并逐步处理它们。虽然该操作有助于建模遥控对应关系，但由于传播机制，误差累积是不可避免的。在这项工作中，我们提出了一种新颖的通用迭代对准模块，其采用逐渐改进方案进行子对准，产生更准确的运动补偿。为了进一步提高对准精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性以用于聚合的空间方式自适应地评估。凭借拟议的策略，我们的模型在一系列视频恢复任务中实现了多个基准测试的最先进的性能，包括视频超分辨率，去噪和去束性。我们的项目可用于\ url {https:/github.com/redrock303/revisiting-temporal-alignment-for-video-Restion.git}。

作为SE（3）的基本组成部分 - Quivariant的深度特色学习，可转向卷积最近展示了其3D语义分析的优势。然而，优点由昂贵的体积数据上的昂贵计算带来，这可以防止其实际用途，以便有效地处理固有的稀疏的3D数据。在本文中，我们提出了一种新颖的稀疏转向卷积（SS-Char）设计，以解决缺点; SS-DIM大大加快了稀疏张量的可操纵卷积，同时严格保留了SE（3）的性质。基于SS-CONV，我们提出了一种用于精确估计对象姿势的一般管道，其中一个关键设计是一种特征转向模块，其具有SE（3）的完全优势，并且能够进行高效的姿势改进。为了验证我们的设计，我们对三个对象语义分析的三个任务进行了彻底的实验，包括实例级别6D姿势估计，类别级别6D姿势和大小估计，以及类别级6D姿态跟踪。我们基于SS-CONV的提议管道优于三个任务评估的几乎所有指标上的现有方法。消融研究还在准确性和效率方面展示了我们的SS-CONVES对替代卷积的优越性。我们的代码在https://github.com/gorilla-lab-scut/ss-conv公开发布。

我们考虑单个图像超分辨率（SISR）问题，其中基于低分辨率（LR）输入产生高分辨率（HR）图像。最近，生成的对抗性网络（GANS）变得幻觉细节。大多数沿着这条线的方法依赖于预定义的单个LR-intle-hr映射，这对于SISR任务来说是足够灵活的。此外，GaN生成的假细节可能经常破坏整个图像的现实主义。我们通过为Rich-Detail SISR提出最好的伙伴GANS（Beby-GaN）来解决这些问题。放松不变的一对一的约束，我们允许估计的贴片在培训期间动态寻求最佳监督，这有利于产生更合理的细节。此外，我们提出了一种区域感知的对抗性学习策略，指导我们的模型专注于自适应地为纹理区域发电细节。广泛的实验证明了我们方法的有效性。还构建了超高分辨率4K数据集以促进未来的超分辨率研究。

无源的无监督域适应性（SFUDA）旨在使用未标记的目标数据和训练有素的源域模型来学习目标域模型。大多数先前的SFUDA都致力于根据源知识推断目标数据的语义。在不衡量源知识的可传递性的情况下，这些方法不足以利用源知识，并且无法识别推断的目标语义的可靠性。但是，现有的可传递性测量需要源数据或目标标签，而SFUDA中是不可行的。为此，首先，我们提出了一种新颖的不确定性诱导的可传递性表示（UTR），该表示在没有源数据和目标标签的情况下，它利用不确定性作为工具来分析源编码的通道可传递性。域级UTR揭开了编码器通道向目标域的可传输程度，实例级别的UTR表征了推断的目标语义的可靠性。其次，基于UTR，我们为SFUDA提出了一个新颖的校准自适应框架（CAF），包括i）源知识校准模块，该模块指导目标模型学习可转移的源知识并丢弃不可转移的源知识，并且II）校准不可靠语义的目标语义校准模块。在校准的源知识和目标语义的帮助下，该模型可以安全地适应目标领域。我们使用实验结果验证了方法的有效性，并证明所提出的方法在三个SFUDA基准上实现了最先进的性能。代码可在https://github.com/spiresearch/utr上找到。

核细胞分割是数字病理分析中的基本任务，可以通过基于深度学习的方法自动化。然而，这种自动化方法的发展需要大量数据具有精确的注释掩模，这很难获得。具有弱标记数据的培训是减少注释工作量的流行解决方案。在本文中，我们提出了一种新的基于元学习的核细胞分段方法，其跟随标签校正范例，以利用嘈杂的面具利用数据。具体而言，我们设计一个完全传统的元模型，可以使用少量清洁的元数据来纠正嘈杂的掩模。然后，纠正的掩模可用于监督分割模型的训练。同时，采用双级优化方法来交替地以端到端的方式更新主要分段模型和元模型的参数。两个核细分数据集的广泛实验结果表明，我们的方法实现了最先进的结果。它甚至可以在一些嘈杂的设置中实现了对监督数据的模型培训相当的性能。

昂贵的边界盒注释限制了对象检测任务的开发。因此，有必要专注于更具挑战性的对象检测的更具挑战性的任务。它要求检测器只有几个训练样本识别新型类别的对象。如今，许多采用类似于元学习的培训方式的现有流行方法已经达到了有希望的表现，例如meta r-CNN系列。但是，支持数据仅用作类的注意，以指导每次查询图像的检测。它们彼此的相关性仍未得到解释。此外，许多最近的作品将支持数据和查询图像视为独立分支，而无需考虑它们之间的关系。为了解决这个问题，我们提出了一个动态相关性学习模型，该模型利用查询图像上所有支持图像与目标区域（ROI）之间的关系来构建动态图卷积网络（GCN）。通过使用此GCN的输出调整基本检测器的预测分布，提出的模型是一项硬辅助分类任务，该任务指导检测器隐含地改进类表示。对Pascal VOC和MS-Coco数据集进行了全面的实验。拟议的模型达到了最佳的整体性能，这表明了其学习更多广义特征的有效性。我们的代码可在https://github.com/liuweijie19980216/drl-for-fsod上找到。

In this chapter, we review and discuss the transformation of AI technology in HCI/UX work and assess how AI technology will change how we do the work. We first discuss how AI can be used to enhance the result of user research and design evaluation. We then discuss how AI technology can be used to enhance HCI/UX design. Finally, we discuss how AI-enabled capabilities can improve UX when users interact with computing systems, applications, and services.

An increasing number of public datasets have shown a marked clinical impact on assessing anatomical structures. However, each of the datasets is small, partially labeled, and rarely investigates severe tumor subjects. Moreover, current models are limited to segmenting specific organs/tumors, which can not be extended to novel domains and classes. To tackle these limitations, we introduce embedding learned from Contrastive Language-Image Pre-training (CLIP) to segmentation models, dubbed the CLIP-Driven Universal Model. The Universal Model can better segment 25 organs and 6 types of tumors by exploiting the semantic relationship between abdominal structures. The model is developed from an assembly of 14 datasets with 3,410 CT scans and evaluated on 6,162 external CT scans from 3 datasets. We rank first on the public leaderboard of the Medical Segmentation Decathlon (MSD) and achieve the state-of-the-art results on Beyond The Cranial Vault (BTCV). Compared with dataset-specific models, the Universal Model is computationally more efficient (6x faster), generalizes better to CT scans from varying sites, and shows stronger transfer learning performance on novel tasks. The design of CLIP embedding enables the Universal Model to be easily extended to new classes without catastrophically forgetting the previously learned classes.